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Предложен усовершенствованный метод построения и обучения однослойных импульсных нейронных сетей. 
Разработанный метод позволяет применять однослойные импульсные нейронные сети, кодирующие каждое 
измерение входных данных одним нейроном входного слоя, для распознавания разномасштабных и пересе- 
кающихся кластеров при обучении «без учителя». Представленный подход позволяет получить приемлемую 
точность классификации и способность распознавания сложных кластеров данных при значительно упро- 
щеённой структуре нейронной сети. 
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Введение. В классических [1, 2] моделях построения искусственных нейронных сетей значение 
функции активации нейрона ф (выходной сигнал) ассоциируется с частотой генерации импуль- 


сов. Таким образом, значение у функции активации нейрона К (рис.1), являясь нелинейным пре- 


т 
образованием взвешенной суммы его входных значений у, =ф У их, ‚ определяет частоту 
= 


генерации импульсов данным нейроном в ответ на входной вектор х = (х,,х,„..х„). 
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Рис.1. Модель нейрона: х,,] Ее [м | — входные сигналы; 


и, ЛЕ [ии — веса синапсов; \к — взвешенная сумма х;; ф — функция активации 


Описанный подход к определению принципа функционирования нейрона применяется в 
первых двух поколениях нейронных сетей [3] (1-е поколение: многослойный персептрон, сети 
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Хопфилда, машины Больцмана; 2-е поколение: сети прямого распространения, рекуррентные се- 
ти, радиально-базисные сети). 

В настоящее время нарастающей тенденцией становится использование импульсных ней- 
ронных сетей [2, 4, 5] (5р/Кта пеига/ пе /гогк$), сетей 3-го поколения, являющихся более адек- 
ватными с точки зрения нейробиологического моделирования [4, 6]. В рамках этого типа сетей 
вычисления производятся уже на уровне отдельных импульсов, а не средней частоты их генера- 
ции. Таким образом, понятие функции активации заменяется понятием модели импульсного отве- 
та (5рЖе гезропз$е йпсНоп) , модели изменения потенциала нейрона во времени. 

Итак, импульсная сеть представляет собой сеть прямого распространения с несколькими 
терминалами в каждой синаптической связи (рис.2). 


+ 





Рис.2. Каждый синапс состоит из множества терминалов с различной задержкой, таким образом, 


чм . чм О Ш | 
влияние нейрона | на потенциал нейрона } в момент времени { равен Уи. 2 (1 +4”) ‚ где т — коли- 
к= У 


К 
чество терминалов; »_- вес терминала К; 4 “— задержка терминала К, +-— время генерации импульса 
И 


нейроном 1; &(ДЕ) — функция изменения потенциала (5рЖе гезроп$е ГипсНоп) нейрона [7] 


Входной вектор кодируется во времени и подаётся на вход сети в виде импульсов, кото- 
рые, следуя по синаптическим связям, передаются сети с разными временными задержками. Ка- 
ждый полученный импульс может повысить или понизить потенциал нейрона. Нейрон, получив 
определённое количество импульсов и достигнув заданного уровня активации (значения внут- 
ренней переменной - потенциала), генерирует импульс, который передаётся далее по сети. 

Таким образом, вычисления проводятся на уровне отдельных импульсов, а механизм 
взаимодействия нейронов основывается на временном домене. Более подробно импульсные сети 
описаны в работах [4,5,7]. 

Идея использования импульсных нейронных сетей для классификации данных «без учите- 
ля» была предложена Хопфилдом [8]. В [9] был предложен обучающий алгоритм, который ис- 
пользует временное кодирование входного вектора в задержки синаптических терминалов для 
нахождения центров многомерных кластеров данных. В работе Бохте [7]' доказывается, что дан- 
ный метод имеет ряд недостатков и предлагается его следующая итерация с использованием 
концепции локальных полей (/оса/ гезресйуе Пе/(5), основанная на принципах действия биологи- 
ческих нейронов. 

В данной работе рассмотрен частный случай применения импульсных сетей — однослой- 
ная импульсная нейронная сеть для кластеризации данных. Предложен алгоритм построения и 
обучения этого типа сети, основанный на динамически формируемых синаптических терминалах 
и адаптивном Хеббовском обучении [1]. Целью создания алгоритма является получение соизме- 
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римой алгоритму Бохте точности классификации при значительно меньшем количестве исполь- 
зуемых нейронов. 

Постановка задачи. Рассмотрим принцип кодирования входных векторов данных в однослой- 
ной импульсной нейронной сети, в частности, случай кодирования векторов напрямую во вре- 
менной домен и случай кодирования с применением концепции локальных полей. 

При обоих типах кодирования входных данных (рис.3) используется однослойная сеть 
прямого распространения со множеством терминалов на каждый синапс. Как уже было сказано во 
введении, нейрон генерирует импульс, когда его потенциал (внутреннее состояние) пересекает 
определённый предел и. Соотношение между полученными импульсами и изменением потенциа- 
ла нейрона описывается моделью импульсного ответа (5р/Ке гезроп5е тосе). 








Входной слой 


Хх 





`_ Набор терминалов синапса 


Выходной слой 





Рис.3. Структура сети: а — нейросеть, проецирующая 4-мерные входные данные на три класте- 
ра; 6 — нейросеть, выполняющая то же преобразование с использованием концепции локаль- 
ных полей; в — функция импульсного ответа; г — функция обучения 


Потенциал нейрона / (см.рис.2) представляется в общем виде 
и, и 
хе) = Ум у (), (1 
=Г, К=1 И И 


где Г, - множество нейронов, предшествующих /; и/^- вес терминала К синапса между нейронами 
Ги ]; у^- невзвешенный вклад терминала К в состояние потенциала нейрона, 
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У == а), (2) 
1 


а ^ - задержка терминала К; # -— время генерации импульса нейроном /; = - функция им- 
пульсного ответа (см.рис.3,в), 


1- 


[ 
5-е т, (3) 


[>0, т- константа, определяющая время угасания импульса. 

Входные векторы данных кодируются в веса синапсов (терминалов) с применением вре- 
менного варианта обучения Хебба, после чего время генерации импульса конкретным нейроном 
отражает расстояние между входным вектором и вектором, на который настроен нейрон (тем са- 
мым реализуя временной вариант радиально-базисного нейрона). Для схемы обучения “без учи- 
теля” используется правило “победитель получает всё” - на каждой итерации изменяются веса 
только одного нейрона, первым сгенерировавшего импульс. 

Временной вариант обучения Хебба предполагает положительное изменение веса терми- 
нала, если он передал нейрону входной импульс непосредственно перед генерацией выходного 
импульса, т.е. повлиял на него, и отрицательное - в противном случае. Вес каждого терминала, 
предшествующего нейрону-победителю, изменяется по следующей формуле (см.рис.З3,г): 

(ие) 
| 
т. ПЕ. (ЛЕ) = п(1 —Б)е РБ | (4) 
где Ди/ ^ — изменение веса К после обучения нейрона /; п — температура обучения; В — ширина 
положительной части функции; Ь — максимальное значение уменьшения веса терминала; 
с- центр обучающей функции. 

Таким образом, сеть синхронизируется, и каждый нейрон настраивается на определённый 
кластер. 

При кодировании входного вектора напрямую во временной домен каждый его компонент 
отображается на дискретный временной интервал 7=/1,2,...,п} и подаётся на входной нейрон в 
момент времени [> Т. Этот простой способ кодирования применим в случае распознавания не- 
пересекающихся кластеров данных. 

Для выявления пересекающихся кластеров в работе [7] предлагается кодировать компо- 
ненты вектора популяциями нейронов. Целью данного подхода является повышение точности 
распознавания за счёт преодоления минимальной дискретной разрешающей способности терми- 
налов. 





Оптимально стимулированный нейрон в популяции, отвечающий за определённый компо- 
нент входного вектора, генерирует импульс в момент времени, близкий к 0, его соседи - с боль- 
шей задержкой, а наименее стимулированные нейроны произведут импульс только в момент вре- 
мени 9 (рис.4). 
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Рис.4. Графическое представление концепции локальных полей: 


Т‚(А) - время генерации импульса нейроном входного слоя 
(на рис. представлены 8 нейронов, остальные отмечены как о{йег) 
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п 
Для компонента входного вектора п с минимальным значением Г и максимальным значением 
тт 


И у У 
1 и 77 нейронов популяции время генерации импульса нейроном /е [1..т] определяется с по- 
тах 


мощью функции Гаусса: 





2 
1, —@ > Г. (5) 
где 
И И 
п 71- 
т р 1-3 тах тт зай (6) 
тт 2 т-2 | 
И И 
о 
ст тах тт (7) 
у т-2 


Данный метод точно распознаёт сложные кластеры, например, на наборе данных Фишера 
достигнута средняя точность классификации в 92,6% [7]. 

Для получения соизмеримой точности при распознавании сложных кластеров без услож- 
нения архитектуры (применения локальных полей нейронов, использования многослойной архи- 
тектуры) предлагается следующий алгоритм построения сети. 

Метод решения. Разберём процесс на уровне пары нейронов: входного нейрона /и выходного /. 

Используем прямое кодирование входных векторов во временной интервал, но, в отличие 
от кодирования входного вектора напрямую во временной домен, не привязываем их к дискрет- 
ному набору значений. Получаем относительное временное значение & компонента х; вектора х 
из формулы 


И 
Хх; = : 
ти тт 
1 И И 2 Р (8) 
5 
тах тит 


п п 
где! иИ/ - минимальное и максимальное значения для компонента Хх; . 
тт тах 


В результате преобразования получаем & на интервале /0, 1] и подаём в это время им- 
пульс на нейрон /. В начале обучения синапс $, нейросети инициализируется случайным образом, 
т.е. наполняется определённым количеством терминалов с произвольными весами /0, и/тах/ и за- 
держками /0, 11. 

Так как каждый синапс имеет разный начальный набор терминалов, различные нейроны 
выходного слоя получают различные временные серии импульсов от нейрона /и, соответственно, 
изменения их потенциалов принимают различные формы, следуя (1). Для эмуляции локальных 
полей нейрона без применения кодирования входных компонентов популяциями нейронов пред- 


лагается использовать следующую модель импульсного ответа нейрона: 


2 
Хх 


> 26? 
2(1) =е | (9) 
она позволяет достичь эффекта, сходного с применением концепции локальных полей нейрона, 
но с переносом на более низкий уровень -— уровень терминалов. 


Нейрон, потенциал которого первым превышает предел, является победителем, и терми- 
налы, предшествующие ему, подвергаются обучению. При этом перед началом обучения предла- 
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гается добавлять терминал с нулевым весом в каждую синаптическую связь и задержкой, совпа- 
дающей с центром обучающей функции и равной &;-ё. В процессе обучения вновь созданный тер- 
минал получает максимальное положительное изменение веса. Остальные веса терминалов из- 
меняются, следуя 


-(41-с) 





у к 
Ди = п (41) = 1(1-Ь)е р +Ь, (10) 
И] 
где ширина положительного окна является уже динамической величиной, зависящей от количе- 
ства терминалов, находящихся в радиусе г от терминала К, 


ыы 
р р +1’ (11) 


Г 


где р — эталонная ширина обучающей функции; 0. — количество терминалов синапса Ё^, отве- 
чающих /4?-4'/ < г; г- радиус. 

Введение новой переменной придаёт обучающей функции адаптивность, т.е. для каждого 
кластера обучающая функция принимает различную ширину. После обучения терминалы с нуле- 
выми и отрицательными весами удаляются из синапса. 

Важным аспектом метода является ограничение, накладываемое на суммарный импульс, 
полученный нейроном от синапса $ ? в момент времени Ё: 


Уйе (#1) а, (12) 
ЕТ И 
где Т — множество терминалов синапса; ох — предполагаемая степень корреляции компонентов 
входного вектора. 

Для моделирования представленного метода была создана программа для ЭВМ на языке 
программирования ру оп. Программа распространяется под лицензией МПТ и доступна по адресу 
ВЕр.//соае.дооб/е.сот/р/рутоп-5ЕКЕ/. Результаты выполнения программы представлены на сай- 
те проекта. 

В результате проведённых компьютерных экспериментов было показано, что представ- 
ленный метод даёт среднюю точность в 81,56% при классификации набора данных Фишера, со- 
держащего сложные кластеры. Полученные результаты показывают, что с помощью представ- 
ленного метода можно получить 5-кратное уменьшение количества нейронов при потере точно- 
сти классификации в 11%. 

Выводы 

Предложенный в данной работе метод основан на применении концепции локальных по- 
лей нейрона на терминальном уровне. Важным аспектом данного метода является применение 
концепции динамической реструктуризации терминалов синаптических связей. 

Представленный метод позволяет перенести вычислительную нагрузку на синапсы сети, 
тем самым упростить её структуру за счёт уменьшения количества нейронов. Из полученных экс- 
периментальных данных следует, что применение предложенного метода позволяет снизить вы- 
числительную нагрузку при моделировании (фаза обучения и фаза тестирования) однослойной 
импульсной сети на 67,2 %. 

Полученные импульсные сети имеют адаптивное поведение и являются помехоустойчи- 
выми. То есть динамически добавленные во время обучения кластеры входных данных будут ус- 
пешно классифицированы. 

Метод применим для широкого круга систем, в том числе для систем, требующих высокой 
скорости обработки данных, близких к системам реального времени. 
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А.А. ККАЗМО$НСНЕКО\У 


СОМРЕЕХ БАТА СЕО$ЗТЕКТЛМС МПТН $1ТМСЕЕ-ГАУЕВ ОУМАМТСАЦЧУ 11МКЕО 
РТКТМС МЕЧКАЕ МЕТМ/ОКК 


Ап итргоуеа теПо4 Гог сопгисИпд апа \{гатта эзте-1ауегед рта пеуга| пебмогК$ 15 ргерозед. 
Тре те@оа аНом/$ {о арру зтае-|ауегей рта пеига! пебмогК$ {Па{ епсоае еасй даа Аиттепзюоп Бу 
опе пецгоп о? {пе три Гауег Гог {Пе гесодпвоп о сотрех ап омейаррта си$ег$ \/ЕА ргосеаиге о 
ипзирегм5е4 {гатта. ТПе ргезеще арргоасй аНом/5 {о оБат ассер{аЫе ассигасу ог {Пе са$$ИсаНоп 
МИА {Пе а Ку о ащес сотр ех даа си$%ег$ а сопзега у эитриНеа $хгисиге ог {Пе пеига| пе 
М/ОГК. 

Кеумгог@$: рта пеига| пебмогК$, даа чи$етпта, НебЬ'5 т$хгисйоп, ипзирегижеа {гатпд. 


КРАСНОЩЕЁКОВ Александр Александрович (р.1988), программист вычислительного центра ДГТУ. 
Область научных интересов: искусственный интеллект, распределённые вычисления, нечёткая 
логика, семантический Интернет, мультиагентные системы, технологии сетевого взаимодействия, 
системы поддержки принятия решений, построение корпоративных информационных систем. 
Автор 4 научных работ. 


аКгазпозспекоу@атай.сот 


324 


